Avildsen sinh ra ở Oak Park, Illinois, con trai của Ivy (nhũ danh Guilbert) và Clarence John Avildsen.[1] Ông được đào tạo tại trường The Hotchkiss và Đại học New York.Avildsen có một đứa con xa lạ tên là Ash (sinh ngày 5 tháng 11 năm 1981), người sáng lập ra Sumerian Records.[2] Ông cũng có một người con trai khác, Jonathan Avildsen, người đã xuất hiện trong các bộ phim Karate Kid Part III và Rocky V.